如今，爬蟲可以在許多行業(yè)看到，如爬行目標(biāo)網(wǎng)站的信息、列表和其他信息，然而，許多網(wǎng)站不愿意讓他們的信息白白獲得，所以出現(xiàn)了反爬蟲措施。

到目前為止，爬蟲和反爬蟲經(jīng)常發(fā)生精彩的攻擊和防御戰(zhàn)爭(zhēng)，但剛開始的小白經(jīng)常被一些簡(jiǎn)單的爬行措施困住，所以在這里，【USA-IDC】小編告訴小伙伴們一些常見的反爬行解決方案。

海外爬蟲代理服務(wù)器推薦購(gòu)買：http://pdih.cn/dedicated/korea.shtml

1.訪問頻率限制

方法：使用python的sleep生成隨機(jī)時(shí)間。大概意思其實(shí)就是用它。sleep爬蟲的每個(gè)間隔都是隨機(jī)的。這種方法可能會(huì)增加爬蟲的時(shí)間，但可以使用多個(gè)代理IP或者動(dòng)態(tài)IP來解決。

2.針對(duì)UA限制

方法：可設(shè)置隨機(jī)列表，在列表中放入大量列表UA（User-Agent，一般指用戶代理)，能有效防止UA被限制，但UA可能要準(zhǔn)備更多的數(shù)量。

3.動(dòng)態(tài)渲染限制

方法：動(dòng)態(tài)渲染是由JavaScript請(qǐng)求可以在這里嘗試使用burpsuite攔截請(qǐng)求，然后分析其規(guī)則并封裝請(qǐng)求。

4.請(qǐng)求頻率限制

其實(shí)是基于用戶行為的，有的站點(diǎn)有防火墻或者程序有設(shè)置，單位時(shí)間內(nèi)請(qǐng)求過多給你禁IP。繞過方式：使用sleep等待隨機(jī)時(shí)間，這招比較狠，你可以在一個(gè)時(shí)間段內(nèi)生成個(gè)隨機(jī)時(shí)間，然后傳遞給sleep，但是這種方式會(huì)拉長(zhǎng)爬蟲周期，最好的方法就是從IP入手，多找一些代理IP去訪問就可以了。

5.user-agent限制

這個(gè)繞過也很簡(jiǎn)單，設(shè)置個(gè)user-agent列表，使用隨機(jī)函數(shù)，從列表里隨機(jī)抽出一個(gè)user-agent，封裝到http請(qǐng)求里，比如你從網(wǎng)上找30個(gè)user-agent，做成一個(gè)list列表名字叫user-agents，然后使用user-agents[random.randint(0,30)]就可以從列表隨機(jī)提取一個(gè)user-agent，然后封裝到http里

6.針對(duì)IP限制

方法：當(dāng)反爬程序檢測(cè)到同IP用戶訪問頻率過高時(shí)，會(huì)直接將其IP鎖定并限制。所以只需要準(zhǔn)備好大量的替代IP就好了，不過更建議用動(dòng)態(tài)IP，效率也會(huì)更好一些。

7.針對(duì)cookie限制

方法：使用selenium+webdriver，獲取每次訪問所需要的cookie，下次訪問時(shí)便帶上，也可以使用urllib2的cookie機(jī)制。

8.?事件限制

有些內(nèi)容需要觸發(fā)相關(guān)事件才能發(fā)送請(qǐng)求。這種繞過方法是使用這種繞過方法。selenium+webdriver即添加瀏覽器內(nèi)核來模擬事件。

以上繞過反爬蟲的方法可以單獨(dú)使用，也可以綜合使用，建議結(jié)合使用幾種方法。當(dāng)然，繞過反爬蟲可能還有其他方法。

這里只想那么多，每個(gè)都是安全的，可以從安全的角度做一些，比如上面的使用，burpsuite抓包的方式可以繞過ajax。

適合爬蟲使用的海外HTTP代理如何挑選？

1、確定代理IP類型

代理IP根據(jù)不同的特點(diǎn)，可分為數(shù)據(jù)中心代理、住宅代理、動(dòng)態(tài)代理、靜態(tài)代理等多種類型，代理IP不同的劃分標(biāo)準(zhǔn)自然會(huì)有不同的用途，客戶首先要根據(jù)自己的項(xiàng)目需求來決定自己需要的服務(wù)器下一步選擇類型。

2、檢查代理的使用方式

很多代理IP服務(wù)提供商提供代理IP使用方式不同，有些客戶需要下載獨(dú)立的客戶端，復(fù)雜的設(shè)置，有些代理服務(wù)提供商只需要用戶使用網(wǎng)進(jìn)行IP配置和提取用于選擇代理IP這也是一個(gè)值得關(guān)注的點(diǎn)，對(duì)工作效率有很大的影響。

最后推薦USA-IDC韓國(guó)【原生】站群服務(wù)器，可搭建海外HTTP代理服務(wù)器做爬蟲類的業(yè)務(wù)，IP可以精準(zhǔn)定位本地原生，每個(gè)月都會(huì)更新IP池，一手IP，服務(wù)于大數(shù)據(jù)采集領(lǐng)域幫助企業(yè)/個(gè)人快速高效獲取數(shù)據(jù)源，真的非常便宜實(shí)惠，而已速度快又很穩(wěn)定。